[Obsoleto] Completaciones de chat para el uso del SDK/client de OpenAI
Obsoleto: Utilice la API de Respuestas (/api/v1/llm/responses) en su lugar. Punto de terminación de completación de chat compatible con OpenAI, diseñado para usarse con las bibliotecas de cliente oficiales de OpenAI (Python, Node.js, etc.). Soporta tanto solicitudes en streaming como no streaming al establecer el parámetro stream. Este punto de terminación maneja la solicitud/respuesta directamente y devuelve respuestas formateadas al estándar de OpenAI. Úselo al integrarse con el código de cliente de OpenAI existente. Nota: El controlador real está registrado en el nivel del servidor Bun para un rendimiento óptimo con el formato de streaming del SDK de OpenAI.
Documentation Index
Fetch the complete documentation index at: https://docs.mka1.com/llms.txt
Use this file to discover all available pages before exploring further.
Autorizaciones
Gateway auth: send Authorization: Bearer <mka1-api-key>. For multi-user server-side integrations, you can also send X-On-Behalf-Of: <external-user-id>.
Encabezados
Optional external end-user identifier forwarded by the API gateway.
Cuerpo
Parámetros de solicitud para crear una finalización de chat. Basado en la API de Finalizaciones de Chat de OpenAI.
ID del modelo a usar. Puedes utilizar el formato proveedor:model o simplemente el nombre del modelo con un proveedor predeterminado.
1Una lista de mensajes que comprende la conversación hasta ahora. Se requiere al menos un mensaje.
1Una lista de herramientas que el modelo puede llamar. Utiliza esto para proporcionar definiciones de funciones que el modelo puede invocar.
Controles qué herramienta (si es que hay alguna) es llamada por el modelo. 'ninguna' significa que el modelo no llamará a ninguna herramienta. 'automático' significa que el modelo puede elegir. 'requerido' fuerza una llamada a la herramienta.
Si se establece, los deltas de mensajes parciales se enviarán como eventos enviados por el servidor. Nota: Este campo es ignorado por el punto final de transmisión, utilizado solo por los puntos finales de clientes compatibles con OpenAI.
Cuántas opciones de finalización de chat generar para cada mensaje de entrada. El valor predeterminado es 1.
1 <= x <= 9007199254740991El número máximo de tokens que se pueden generar en la finalización del chat. La longitud total de los tokens de entrada y los tokens generados está limitada por la longitud del contexto del modelo.
1 <= x <= 9007199254740991¿Qué temperatura de muestreo utilizar, entre 0 y 2? Valores más altos como 0.8 harán que la salida sea más aleatoria, mientras que valores más bajos como 0.2 la harán más enfocada y determinista.
0 <= x <= 2Una alternativa al muestreo con temperatura, llamada muestreo de núcleo, donde el modelo considera los resultados de los tokens con masa de probabilidad top_p. Así que 0.1 significa que solo se consideran los tokens que comprenden el 10% superior de la masa de probabilidad.
0 <= x <= 1Número entre -2.0 y 2.0. Los valores positivos penalizan nuevos tokens en función de su frecuencia existente en el texto hasta ahora, disminuyendo la probabilidad del modelo de repetir la misma línea de forma literal.
Número entre -2.0 y 2.0. Los valores positivos penalizan nuevos tokens según si aparecen en el texto hasta ahora, aumentando la probabilidad del modelo de hablar sobre nuevos temas.
Si se especifica, el sistema hará un esfuerzo por muestrear de manera determinista. No se garantiza el determinismo, pero la misma semilla debería devolver típicamente resultados similares.
-9007199254740991 <= x <= 9007199254740991Hasta 4 secuencias donde la API dejará de generar más tokens. El texto devuelto no contendrá la secuencia de parada.
Un objeto que especifica el formato que el modelo debe generar. Establecer en { 'type': 'json_object' } activa el modo JSON.
Si se deben devolver las probabilidades logarítmicas de los tokens de salida. Si es verdadero, devuelve las probabilidades logarítmicas de cada token de salida devuelto en el contenido del mensaje.
Un entero entre 0 y 20 que especifica el número de tokens más probables a devolver en cada posición de token, cada uno con una probabilidad logarítmica asociada. logprobs debe estar configurado como verdadero si se utiliza este parámetro.
0 <= x <= 20Un identificador único que representa a su usuario final, lo que puede ayudar a monitorear y detectar abusos. También se utiliza para el seguimiento de uso y análisis.
Opciones para la respuesta de streaming. Solo establece esto cuando configures stream: true.
Si habilitar la llamada a funciones en paralelo durante el uso de la herramienta.
Restringe el esfuerzo en el razonamiento para los modelos de razonamiento. Un esfuerzo menor resulta en respuestas más rápidas y menos tokens de razonamiento. Valores soportados: 'ninguno', 'mínimo', 'bajo', 'medio', 'alto', 'muy alto' o nulo.
none, minimal, low, medium, high, xhigh Cuando es verdadero, la puerta de enlace analiza la complejidad de la solicitud y enruta automáticamente entre variantes cuantizadas, MoE y densas de la familia de modelos solicitada.
Respuesta
Respuesta de finalización de chat exitosa. Devuelve JSON para no transmitir (stream=false) o Eventos enviados por el servidor para transmisión (stream=true).
Representa una respuesta de finalización de chat de la API
Un identificador único para la finalización del chat
El tipo de objeto, siempre 'chat.completion'
La marca de tiempo de Unix (en segundos) de cuando se creó la finalización del chat.
-9007199254740991 <= x <= 9007199254740991El modelo utilizado para la finalización del chat
Una lista de opciones de finalización de chat. Puede haber más de una si n es mayor que 1.
Estadísticas de uso para la solicitud de finalización
Esta huella digital representa la configuración del backend con la que se ejecuta el modelo. Se puede utilizar junto con el parámetro de solicitud seed para entender cuándo se han realizado cambios en el backend que podrían afectar el determinismo.